Learning to structure data from user-generated thematic corpora
从用户生成主题语料中学习数据结构化
🧭 LLM 驱动的语料属性 schema 自动归纳
Bar-Ilan University
用 LLM 全自动迭代发现领域属性 schema,无需预定义本体即可抽取结构化数据
📌 工作参考价值(4 点)
- 用户生成内容(评论、社区帖、客服对话)中自动发现隐性属性:不用预设 taxonomy,先让大模型从语料归纳候选属性,再合并语义重叠、分配结构类型,快速搭建商品/内容属性体系,适合冷启动或长尾品类。
- 成本控制:schema 发现用大模型,值抽取用较小指令微调模型;可根据模型 scale 评估精度-成本曲线,选择合适模型,对百万级评论抽取能明显省成本。
- 属性集在 10 轮内稳定,说明迭代流程可产品化:可周期性对新语料运行,自动维护和增量更新属性字典,减少人工梳理。
- 结构类型分配与值抽取 F1 0.8,可用于生成推荐/搜索特征,例如抽取用户提到的具体症状、偏好、使用场景,丰富用户画像和 query 扩展。